Bảy Viễn là người Hoa lai (Cha người Trung Hoa, mẹ người Việt). Thân phụ là cụ Lê Văn Dậu, người Triều Châu (Quảng Đông,Trung Quốc). Cụ Dậu vốn là một trong những đàn anh của tổ chức Thiên Địa hội thuộc nhóm Nghĩa Hòa Đoàn (Triều Châu) nhánh Chợ Lớn (Liên bang Đông Dương) kể từ khi cụ di cư sang Việt Nam lập nghiệp. Tuy là tay anh chị giang hồ nhưng cụ tánh tình cương trực, nghĩa hiệp, luôn giúp đỡ bà con làng xóm và những người khốn khó nên rất được kính nể, Bảy Viễn lúc nhỏ ương ngạnh nên thường bị cụ Dậu rầy la và dạy dỗ nghiêm khắc, tánh giang hồ hảo hán của cụ Dậu có ảnh hưởng rất lớn đến Viễn. Bảy Viễn tuy xuất thân giang hồ nhưng vì tính cách nghĩa hiệp, trọng tình bạn và tình huynh đệ nên ông luôn được bạn bè, đàn em cũng như các đại phú gốc Hoa ở Chợ Lớn kính nể.

Bảy Viễn có năm người vợ, đều được ông đón sang Pháp cùng các con. Con cháu, hậu duệ Bảy Viễn vẫn ở Pháp.

Năm 1972, khi tin cựu Thiếu tướng Lê Văn Viễn qua đời ở Paris được đăng báo rộng rãi ở Sài Gòn, Hồ Hữu Tường, một văn sĩ và chính trị gia, đã nhận lời một tòa soạn viết một bài báo về Bảy Viễn mà trong đó khiêm nhường khen ngợi cá tính con người Viễn. Bảy Viễn thích nuôi một số loài thú dữ, trong tòa biệt thự Tổng hành dinh sát Cầu chữ Y, Bảy Viễn có nuôi Hổ nhốt trong chuồng sắt và nuôi Báo xích ở ngoài chuồng, và khi đi săn bắn, Viễn không bao giờ bắn Hổ. Theo như ông Hồ Hữu Tường cho hay, trong một lần đi săn, đang lúc rình mồi, Bảy Viễn bị một con Hổ lớn nhảy chồm lên vồ trúng các ngón chân tạo nên vết thương khá sâu. Bị Hổ tấn công bất ngờ và mặc dù đang ngồi xổm nhưng Bảy Viễn vẫn không lung lay hay té ngã, nếu lấy súng bắn thì Hổ sẽ chết ngay, nhưng vì thương tình nên Viễn chỉ quát lớn một tiếng cho Hổ hoảng sợ mà bỏ chạy.

Từng tồn tại tin đồn rằng Bảy Viễn có không ít kho báu (Tiền, vàng) vẫn còn được cất giấu tại Rừng Sác nên ngay sau khi đánh thắng quân Bình Xuyên, chính phủ Ngô Đình Diệm, dưới sự điều hành của cố vấn Ngô Đình Nhu cùng lực lượng hỗ trợ Hoa Kỳ, đã nhanh chóng săn lùng số kho báu ấy. Nhiều khả năng điều này đã dẫn đến cái chết của Thiếu tá Lê Paul, người con trai trưởng 27 tuổi của Bảy Viễn. Có thuyết cho rằng mặc dù đã theo cha chạy sang Pháp vào năm 1955, nhưng vì số kho báu kể trên, anh này đã liều lĩnh trở về Việt Nam vào năm 1956, và ngay khi tìm được số kho báu, anh ta đụng độ với nhóm binh sĩ Hoa Kỳ vốn đang đồn trú canh gác tại chỗ để rồi thiệt mạng. Thuyết còn lại thì nói trong lúc giao tranh với quân đội chính phủ, anh này đã bị bắt năm 1955 và bị giữ làm con tin. Để chuộc con trai, Bảy Viễn đã cho Nhu biết một phần tài sản của mình trong các nhà băng, nhưng cái Nhu lăm le là số kho báu Bảy Viễn còn cất giấu đâu đó trong nước, nhưng có thể trên thực tế vì không có kho báu nào nên cuộc thương lượng thất bại, và người con trai của Bảy Viễn, vị Thiếu tá trẻ tuổi Lê Paul bị tử hình theo lệnh của Ngô Đình Nhu vào năm sau.

Một số tác phẩm viết về Bảy Viễn và Bảo Đại có kể một câu chuyện thú vị giữa Bảy Viễn và Lê Văn Giáo. Năm 1949, Bảo Đại mời một số chính khách lên biệt điện Đà Lạt để bàn thảo về việc chọn Tham mưu trưởng cho Quân đội Quốc gia Việt Nam. Theo hiệp ước Bảo Ðại-Vincent Auriol, Pháp nhìn nhận Việt Nam là một nước độc lập có chủ quyền riêng, có quân đội riêng. Quân đội đã có rồi, chỉ còn chọn Tham mưu trưởng nữa thôi. Trong các nhân vật được Quốc trưởng đề cử có tên Bảy Viễn. Khách sạn Langbian Palace là nơi các chính khách ngụ trong thời điểm này.

Thủ hiến Trung phần Phan Văn Giáo là người đã kích Bảy Viễn mạnh hơn ai hết khi cho rằng Viễn vốn xuất thân trộm cướp, không xứng đáng đảm nhiệm quyền cao chức trọng. Không may cho ông ta là đã chê bai Bảy Viễn trước mặt Lại Văn Sang, đại diện Bảy Viễn tại cuộc họp. Tư Sang điện khẩn về Chợ Lớn báo cáo Bảy Viễn tình hình cuộc họp và đặc biệt là ý kiến bôi bác của Phan Văn Giáo. Viễn tức sôi máu, nhảy lên chiếc Jaguar (Loại xe đua mới xuất xưởng) chạy một mạch lên Đà Lạt. Ðường Sài Gòn-Ðà Lạt những năm 1950 nhiều đèo cao chạy vòng vèo kế bên vực thẳm, lại nhiều khúc cua có am nhỏ thờ cô hồn những người tử nạn, vậy mà Bảy Viễn vẫn phóng chiếc Jaguar với tốc độ gần 100 km/h. Xe vừa tới khách sạn Langbian Palace, nơi có khách quan đến ở dự phiên họp với Quốc trưởng, Bảy Viễn xông đến lớn tiếng hỏi:

Thủ hiến Phan Văn Giáo là thượng khách thường xuyên của khách sạn, nên một người bồi nhanh chân báo động. Phan Văn Giáo dông ra cửa sau đón taxi lên biệt điện cầu cứu Bảo Đại. Bảy Viễn và Tư Sang cũng phóng xe lên biệt điện. Phan Văn Giáo trốn biệt, Bảo Đại phải đứng ra dàn xếp.

Theo một nguồn khả tín, cố nghệ sĩ cải lương Út Bạch Lan lúc nhỏ từng là con nuôi Bảy Viễn. Cố nghệ sĩ cải lương Ba Xây (Người gốc Hoa) cũng từng là thông dịch viên tiếng Hoa cho Bảy Viễn (Có thể Bảy Viễn chỉ biết tiếng Triều Châu và chút ít tiếng Quảng Đông, nên cần có thông dịch viên kề cận khi giao hảo với các đại phú gốc Quảng Đông ở Chợ Lớn, hay từ Hồng Kông mới đến)[5]